Algoritmos coevolutivos competitivos para la programación de inteligencia artificial en videojuegos

Los juegos que han sido objeto de experimentación en esta investigación son del género estrategia en tiempo real (RTS, por sus siglas en inglés: Real Time Strategy Games). Se escogió este género porque ofrece una amplia variedad de problemas muy interesantes en el ámbito de la investigación de la IA aplicada, tales como, la planificación de tareas y recursos en tiempo real teniendo en cuenta al adversario y la toma de decisiones con incertidumbre. Es por esto que es uno de los géneros de juego que más se ha empleado en las investigaciones de IA publicadas en la bibliografía científica. Son dos los juegos RTS sobre los que se ha experimentado en esta tesis. En ambos se han probado los dos enfoques diseñados en esta investigación. Uno de ellos tiene como objetivo la creación de estrategias de IA para manejar los bot y/o los jugadores virtuales (NPCs, por sus siglas en inglés: Non-Player Character) de los juegos RTS antes mencionados. Y el otro, tiene un objetivo mucho más complejo, el de generar de forma simultánea, estrategias de IA y contenido para videojuegos. Este segundo modelo representa el aporte más novedoso de esta investigación, pues hasta donde hemos podido investigar en la bibliografía relacionada, es la primera vez que se logra la coevolución de lo que vendrían siendo (teniendo en cuenta la teoría de la evolución) dos especies tan distintas. Además, constituye un paso importante hacia la creación procedural de juegos completos a nivel de Diseño. Nuestros algoritmos pueden verse como métodos procedurales de generación de contenidos que permiten crear inteligencias artificiales (o sea, comportamientos) de los NPCs y también contenidos (en forma de mapas) del juego. Esta tesis presenta el primer algoritmo conocido en la literatura científica (hasta donde nuestros conocimientos alcanzan) que es capaz de crear proceduralmente ambos contenidos a la vez; y propone un esquema genérico que puede aplicarse a otros videojuegos (no sólo a RTS). A lo largo de la memoria son explicadas detalladamente las propuestas de soluciones que han sido definidas en esta tesis y se aporta el correspondiente análisis de sus resultados para poder valorar seriamente su idoneidad.Esta investigación trata sobre la aplicación del enfoque competitivo de la Coevolución en la programación de soluciones de Inteligencia Artificial (IA) para videojuegos y propone diferentes modelos para abordarlo. La motivación principal de esta tesis es que la Coevolución resulta un enfoque muy adecuado para explotarlo como método de búsqueda y optimización en videojuegos ya que estos son de por sí escenarios intrínsecamente competitivos. Está demostrado que en los contextos donde resulta complejo definir una medida de calidad de las soluciones, aplicar la Coevolución es muy conveniente porque se podría calcular el fitness de los individuos a partir de sus resultados en las competiciones contra las poblaciones adversarias. Este mecanismo de evaluación es tradicional en los videojuegos basados en competición, donde la calidad de un jugador está determinada por su desempeño frente a los oponentes. Por otra parte, además de las muchas muestras que existen de que la Coevolución es un método de optimización muy adecuado en videojuegos, también se han dedicado varios trabajos en la comunidad científica a explicar las “patologías” que afectan a los modelos coevolutivos. Incluso se han propuesto “remedios” para combatirlas, pero a pesar de eso, la complejidad que genera la dinámica de estos modelos hace que sea difícil evadir esos fallos. Este problema es también una de las motivaciones que han guiado esta investigación pues los algoritmos que hemos diseñado pretenden disminuir el riesgo de padecer algunos de los fallos típicos de un proceso coevolutivo. Nuestra apuesta en este sentido ha sido el empleo de los conocidos métodos de archivo y el diseño de tres enfoques que mejoran los resultados del modo de uso tradicional de dichos métodos

Eryna: una herramienta de apoyo a la revolución de los videojuegos

La industria del videojuego desde su inicio se ha caracterizado por un dinamismo constante, cada d a son más los desarrolladores que se suman a la competencia y por otro lado, los usuarios se vuelven más expertos y exigentes. A la par de esto se ha fortalecido también la alianza entre la industria y las comunidades científicas de investigación que se sienten atraídas por este fascinante mundo. En este artículo se pretende hacer un resumen de los temas más abordados por los investigadores en los últimos años, que sin duda marcan los retos y las tendencias del futuro de los videojuegos; y basándonos en este estudio presentamos una herramienta que integrará varias de estas tendencias y facilitará el desarrollo de juegos avanzados.Universidad de Málaga. Campus de Excelencia Internacional Andalucía Tech

Hacia la generación automática de mecánicas de juego: un editor de reglas para Eryna

Este artículo es parte de un trabajo emergente dirigido a la creación automática de juegos de estrategia en tiempo real (RTS), lo cual incluye la generación de contenido, la creación de la inteligencia artificial del juego (es decir, de los jugadores virtuales) y de la propia mecánica del mismo. En este artículo se describe un editor que consta de múltiples parámetros que pueden configurarse para activar o desactivar decenas de reglas que pueden cambiar la mecánica de un juego RTS. El trabajo aquí descrito se realiza en el contexto del juego Eryna, una plataforma de experimentación implementada en la Universidad de Málaga. El editor de reglas es una herramienta que será usada en el futuro para permitir la evolución automática de las reglas de este videojuego y la creación de distintas mecánicas para el mismo. Lo que presentamos aquí debe ser evaluado como un trabajo emergente en el cual estamos trabajando.Universidad de Málaga. Campus de Excelencia Internacional Andalucía Tech

Procedural Content Generation for Real-Time Strategy Games

Videogames are one of the most important and profitable sectors in the industry of entertainment. Nowadays, the creation of a videogame is often a large-scale endeavor and bears many similarities with, e.g., movie production. On the central tasks in the development of a videogame is content generation, namely the definition of maps, terrains, non-player characters (NPCs) and other graphical, musical and AI-related components of the game. Such generation is costly due to its complexity, the great amount of work required and the need of specialized manpower. Hence the relevance of optimizing the process and alleviating costs. In this sense, procedural content generation (PCG) comes in handy as a means of reducing costs by using algorithmic techniques to automatically generate some game contents. PCG also provides advantages in terms of player experience since the contents generated are typically not fixed but can vary in different playing sessions, and can even adapt to the player herself. For this purpose, the underlying algorithmic technique used for PCG must be also flexible and adaptable. This is the case of computational intelligence in general and evolutionary algorithms in particular. In this work we shall provide an overview of the use of evolutionary intelligence for PCG, with special emphasis on its use within the context of real-time strategy games. We shall show how these techniques can address both playability and aesthetics, as well as improving the game AI

Game Artificial Intelligence: Challenges for the Scientific Community

This paper discusses some of the most interesting challenges to which the games research community members may face in the área of the application of arti cial or computational intelligence techniques to the design and creation of video games. The paper focuses on three lines that certainly will in uence signi cantly the industry of game development in the near future, speci cally on the automatic generation of content, the a ective computing applied to video games and the generation of behaviors that manage the decisions of entities not controlled by the human player.Universidad de Málaga. Campus de Excelencia Internacional Andalucía Tech

Optimización en videojuegos: retos para la comunidad cientí­fica

Este artículo analiza algunos de los desafíos más interesantes a los cuales los miembros de la comunidad MAEB pueden enfrentarse en el área de la aplicación de técnicas de Inteligencia Artificial/Computacional al diseño y creación de videojuegos. El artículo se centra en tres líneas, que en un futuro cercano, seguramente van a influenciar de forma significativa la industria del desarrollo de videojuegos, en concreto se enfoca en la Generación Automática de Contenido, en la Computación Afectiva aplicada a los videojuegos y en la Generación de Comportamientos que gestionen la toma de decisiones de las entidades no controladas por el jugador humano.Universidad de Málaga. Campus de Excelencia Internacional Andalucía Tech. Este trabajo está parcialmente financiado por la Junta de Andalucía dentro del proyecto P10-TIC-6083 (DNEMESIS), por el MICINN dentro del proyecto TIN2011-28627-C04-01 (ANYSELF

Implementación de algoritmos meméticos con capacidad de auto-generación sobre CouchBD

Los algoritmos meméticos constituyen un paradigma de optimización basado en la explotación sistemática del conocimiento acerca del problema que se desea resolver y de la combinación de ideas tomadas de diferentes metaheurísticas, tanto basadas en población como basadas en búsqueda local. Como la mayoría de los algoritmos evolutivos, los meméticos también han sido usados para resolver problemas de optimización en el campo de la Inteligencia Artificial, gracias a su capacidad de explorar espacios de búsqueda complejos en tiempos razonables. En este artículo se presenta una propuesta de implementación de algoritmos multimeméticos (esto es, algo- ritmos meméticos con capacidad de auto-generar las estrategias de búsqueda local) que emplea el sistema de Base de Datos CouchDB para manejar poblaciones persistentes y se hace un análisis del rendimiento que muestran estos algoritmos al resolver algunos problemas de optimización.Universidad de Málaga. Campus de Excelencia Internacional Andalucía Tech. Este trabajo está parcialmente financiado por la Junta de Andalucía dentro del proyecto P10-TIC-6083 (DNEMESIS), por el MICINN dentro del proyecto TIN2011-28627-C04 (ANYSELF

Virtual player design using self-learning via competitive coevolutionary algorithms

The Google Artificial Intelligence (AI) Challenge is an international contest the objective of which is to program the AI in a two-player real time strategy (RTS) game. This AI is an autonomous computer program that governs the actions that one of the two players executes during the game according to the state of play. The entries are evaluated via a competition mechanism consisting of two-player rounds where each entry is tested against others. This paper describes the use of competitive coevolutionary (CC) algorithms for the automatic generation of winning game strategies in Planet Wars, the RTS game associated with the 2010 contest. Three different versions of a prime algorithm have been tested. Their common nexus is not only the use of a Hall-of-Fame (HoF) to keep note of the winners of past coevolutions but also the employment of an archive of experienced players, termed the hall-of-celebrities (HoC), that puts pressure on the optimization process and guides the search to increase the strength of the solutions; their differences come from the periodical updating of the HoF on the basis of quality and diversity metrics. The goal is to optimize the AI by means of a self-learning process guided by coevolutionary search and competitive evaluation. An empirical study on the performance of a number of variants of the proposed algorithms is described and a statistical analysis of the results is conducted. In addition to the attainment of competitive bots we also conclude that the incorporation of the HoC inside the primary algorithm helps to reduce the effects of cycling caused by the use of HoF in CC algorithms.This work is partially supported by Spanish MICINN under Project ANYSELF (TIN2011-28627-C04-01),3 by Junta de Andalucía under Project P10-TIC-6083 (DNEMESIS) and by Universidad de Málaga, Campus de Excelencia Internacional Andalucía Tech

Bio-inspired computation: where we stand and what's next

In recent years, the research community has witnessed an explosion of literature dealing with the adaptation of behavioral patterns and social phenomena observed in nature towards efficiently solving complex computational tasks. This trend has been especially dramatic in what relates to optimization problems, mainly due to the unprecedented complexity of problem instances, arising from a diverse spectrum of domains such as transportation, logistics, energy, climate, social networks, health and industry 4.0, among many others. Notwithstanding this upsurge of activity, research in this vibrant topic should be steered towards certain areas that, despite their eventual value and impact on the field of bio-inspired computation, still remain insufficiently explored to date. The main purpose of this paper is to outline the state of the art and to identify open challenges concerning the most relevant areas within bio-inspired optimization. An analysis and discussion are also carried out over the general trajectory followed in recent years by the community working in this field, thereby highlighting the need for reaching a consensus and joining forces towards achieving valuable insights into the understanding of this family of optimization techniques